Vũ Mão sinh ngày 19 tháng 12 năm 1939 tại Hà Nội, quê gốc ở xã Hải Anh, huyện Hải Hậu, tỉnh Nam Định.

Năm 1949, ông làm liên lạc viên của Quân giới Việt Nam. Năm 1951, ông tham gia Thiếu sinh quân Việt Nam, sau đó đi học ở Trường thiếu sinh quân Việt Nam tại Quế Lâm, Trung Quốc, và học văn hóa tại Nam Ninh, Trung Quốc từ năm 1954 đến năm 1957. Cuối năm 1957, ông được đưa về nước và học hoàn tất chương trình Trung học tại trường Ngô Quyền (Hải Phòng).

Năm 1960, ông theo học ngành Thủy nông và quy hoạch thủy lợi tại Học viện Thủy lợi Điện lực và tốt nghiệp Kỹ sư Thủy lợi năm 1964. Sau khi tốt nghiệp, ông được giữ lại làm cán bộ giảng dạy tại trường đến năm 1971.

Năm 1971, ông được điều chuyển về công tác tại Ty Thủy lợi Quảng Ninh làm đội trưởng đội quy hoạch. Cuối năm đó, ông được bổ nhiệm làm Phó Ty Thủy lợi. Năm 1976, ông được thăng làm Trưởng ty Thủy lợi.

Tháng 1 năm 1979, ông được phân công làm Bí thư Huyện ủy Tiên Yên, tỉnh Quảng Ninh đến năm 1980.